\section{Objetivos}
\label{objetivos}

Si bien GER es la tarea m\'as estudiada de GLN, la evaluaci\'on de los sistemas de GER es a\'un un problema abierto. El objetivo final de un sistema de GER es generar una expresi\'on referencial que pueda ser utilizada con \'exito por un usuario humano a fin de identificar el referente previsto. Y por lo tanto, los sistemas de GER deben ser evaluados por personas, o por m\'etodos de evaluaci\'on automatizados correlacionados con las evaluaciones humanas. El problema es que la evaluaci\'on humana es costosa, mientras que las evaluaciones autom\'aticas propuestas hasta al momento no han mostrado correlaci\'on con las evaluaciones humanas~\cite{Reiter09}.

En esta tesis propusimos evaluar y extender el algoritmo de generaci\'on de expresiones referenciales propuesto en~\cite{Areces2008} con el objetivo de que las expresiones referenciales generadas sean \'utiles para identificar el referente para un int\'erprete humano. 

\section{Metodolog\'ia}

Se us\'o la siguiente metodolog\'ia para abordar los objetivos planteados.  

\begin{enumerate} \renewcommand{\itemsep}{-3pt}
   \item Se realiz\'o un an\'alisis de cobertura del algoritmo original con respecto a corpora. Se propuso usar corpora disponible~\cite{viethen-dale:2011:UCNLG+Eval} para analizar la cobertura del algoritmo. Para esto se compar\'o la salida del algoritmo con las expresiones referenciales hechas por humanos en lenguaje natural. 
   \item El algoritmo original~\cite{Areces2008} retorna s\'olo una expresi\'on referencial por referente, se modific\'o para que retorne m\'as de una expresi\'on referencial, para cada objeto, si existe m\'as de una referencia correcta dadas las propiedades del objeto referente y del contexto referencial.
   \item Se extendi\'o el algoritmo para que d\'e como resultado no s\'olo la m\'inima expresi\'on referencial para cada objeto sino tambi\'en expresiones sobre-especificadas. Estudio psicoling\"u\'isticos~\cite{keysar:Curr98} muestran que dos tercios de las expresiones referenciales generadas por humanos est\'an sobre-especificadas. Contrariamente a lo que se crey\'o en los inicios del \'area GER, las expresiones sobre-especificadas son m\'as efectivas y disminuyen la carga cognitiva impuesta sobre el int\'erprete al darle m\'as informaci\'on. 
   \item Se dise\~n\'o un algoritmo que integre t\'ecnicas de aprendizaje automatizado para estimar un orden de preferencia a los atributos a considerar aprendido desde datos de corpora humano de ER.
   \item Se modific\'o el algoritmo original para que incorpore el uso del orden de preferencia de los atributos modelados como una probabilidad de uso de los mismos (basada en la frecuencia observada en el corpus) y en la probabilidad de discernibilidad de un atributo (calculada en base a la tasa de sobre-especificaci\'on vista en el corpus).
\end{enumerate}

En los \'ultimos a\~nos se han propuesto diferentes algoritmos para la generaci\'on de expresiones referenciales sobreespecificadas (Por ejemplo,~\cite{ruudINLG2012}. Tanto el algoritmo~\cite{delucenaENLG} como el de \cite{ruudINLG2012} han sido evaluados con el corpus TUNA-AR~\cite{gattENLG} y obtienen 33\% y 40\% de exactitud respectivamente. Nuestro algoritmo obtiene un promedio de 75\% en el corpus~\cite{viethen-dale:2011:UCNLG+Eval}. Evaluamos nuestro algoritmo con el corpus TUNA-AR para poder comparar nuestros resultados con los de este trabajo previo. Como resultados de este trabajo:

\begin{itemize} \renewcommand{\itemsep}{-3pt}
\item Hemos publicado un art\'iculo cient\'ifico~\cite{arec:2012:coling12} en la conferencia \emph{24th International Conference on Computational Linguistics IIT Bombay, Mumbai, India (Coling 2012)}. Coling es la conferencia l\'ider en el \'area de investigaci\'on en la que se enmarca esta tesis y la publicaci\'on all\'i es considerada equivalente a un art\'iculo de revista de primer nivel por la comunidad. 
\item Hemos publicado un art\'iculo cient\'ifico~\cite{benotti-altamirano-context2013} con los resultados de la evaluaci\'on del algoritmo probabil\'istico en la conferencia \emph{International and Interdisciplinary Conference on Modelling and Using Context (Context 2013)} y fue publicado en modo revista en \emph{Lecture notes in Artificial Intelligence}, editorial Springer. 
\item Estamos escribiendo un art\'iculo~\cite{benotti-altamirano-jair} de revista que ser\'a submitido a \emph{Journal of Artificial Intelligence Research (JAIR)} con los resultados de una nueva evaluaci\'on del algoritmo involucrando jueces humanos y no s\'olo comparaci\'on con corpora.
\end{itemize}

